Ong memperolehi Sarjana Muda Sains dari Universiti Malaya, major dalam Matematik dan Kimia pada tahun 1980. Dia memulakan kerjaya beliau sebagai seorang guru di Sekolah Tinggi Katolik di Petaling Jaya in 1981 hingga 1984. Dia berkahwin dengan Puan Sri Wendy Chong Siew Mei. Pasangan ini dianugerahkan dengan dua anak, Li En dan Xing Yang.